测试时记忆演化能否在科学发现中超越测试时训练？
🧭 测试时记忆演化替代权重更新
UC Santa Barbara · UC Berkeley
提出TTME：不更新权重，通过外部记忆持续沉淀经验指导后续发现，性能优于TTT且算力降八成以上
📌 工作参考价值（4 点）
- 在电商/广告的 Agentic 搜索、选品/文案迭代场景，可用“外部经验记忆”替代线上微调：把每次 query/候选/收益反馈写入可检索 memory，后续推理时检索相似案例，避免在线权重更新和灾难性遗忘。
- 具体实现可借鉴 TTME：把成功/失败经验蒸馏成结构化条目（如状态→动作→奖励），用 memory read/write 控制探索；适合低延迟、高吞吐的推荐对话 Agent。
- 计算成本收益可指导工程：类似 Qwen3-8B 规模下，外部记忆方法比在线训练省 80%+ FLOPs、约一半 runtime，适合边缘/实时决策。
- 需注意论文在数学发现任务上验证，迁移到业务前应先在自有任务上对比 TTT、无适应和 memory 方案的收益/复杂度。
Sage-A1.5：以能力编排与验证驱动长程执行和科学探索
🧭 Agent 编排与验证优化 ★ 深度解读
Shanghai Artificial Intelligence Laboratory
35B MoE 智能体模型，通过 Agentic Orchestration 与 Agentic Verification 实现并行子智能体协作与自校正，在多项长程任务上超过更大模型
📌 工作参考价值（4 点）
- 并行子智能体 + 隔离上下文 + 结构化反馈可用于电商导购/搜索 Agent：将复杂 query 拆成候选召回、评价证据、价格趋势、竞品对比等子任务并发执行，每个子 agent 独立搜索并返回 answer/evidence/unresolved_issues/status，主 agent 再做冲突消解与覆盖检查，避免单线程长上下文噪声累积。
- 在长程购物参谋或搜索任务中引入内建验证：当连续多轮检索无新增信息或需要形成关键结论时，让模型在推理中显式区分“已证实事实/未验证假设/仍缺失信息”，并据此切换搜索方向；用 Verification protocol: enabled 这类条件提示按需激活，不依赖外部 verifier。
- 训练框架上，窗口化交互 RL 适配电商 Agent 的延迟转化反馈：把多轮搜索、比较、生成推荐到最终点击/转化的长交互按中间结果切成窗口共享奖励，降低 step-level 奖励噪声；同时采用 outcome+process mixed supervision，减少对昂贵人工标注的依赖。
- 合成可验证任务时，将任务构造、审核、评判分离到不同 agent，避免同一个模型出题又评分导致 reward hacking；推荐/搜索 Agent 的任务也可以用 sandbox + deterministic grader 做自动化质量门禁。
ScholarCatalyst：检索能启发新研究的论文的基准
🧭 科学文献检索基准与Agent评测
Stanford University · Seoul National University · University of Washington · Carnegie Mellon University · Allen Institute for AI
构建207篇论文的作者标注检索基准，揭示Agentic搜索未超越嵌入检索（R@20 0.42 vs 0.48）
📌 工作参考价值（4 点）
- 对搜索/推荐中的复杂长尾查询，不要盲目叠加 Agentic 循环：强嵌入检索 + 合理 rerank 可能已达上限；应优先优化底库 embedding、索引和 query 理解。
- 用“项目完成者回看哪些早期论文真推进了项目”的方式构建评估集，能捕捉比点击/相关性更接近“灵感价值”的主观相关性；电商推荐可借鉴让业务 owner 标注哪些商品/内容真正影响决策。
- 时间切分很重要：论文基准只允许检索项目开始前的文献，对应推荐/搜索中训练与评测需严格按 timestamp 切分，避免未来信息泄漏。
- 自动标注 pipeline 通过 author 标注+理由生成可规模化，可用于构建需要专家判断的检索/排序训练语料，帮助模型学习领域专家直觉。
ExplorationBench：在可验证异世界中评测 AI 系统的探索能力
🧭 LLM Agent 探索能力基准测评
Fudan University · Tencent · Tsinghua University
构建规则可执行且与预训练知识冲突的异世界沙盒，量化 AI 系统通过探索获取并应用全新规则的能力
📌 工作参考价值（4 点）
- 构建规则可替换的沙盒环境来评测 Agent 的探索与适应能力：在电商搜索推荐场景中，可以设计一个规则与线上统计常识冲突的模拟环境（例如排序收益反转、用户行为分布突变），让 LLM Agent 通过有限次交互探索新规则，而不是直接复用历史知识或预训练记忆。
- 提供有缺陷的手册 / 文档作为初始信息：实际业务中的文档、API 说明、运营规则经常过时或部分错误，可借鉴论文做法，用带噪声的初始手册训练或评测 Agent 的纠错与假设验证能力，从而提升对突发规则变更的鲁棒性。
- 关注探索轨迹的非单调性：论文发现持续探索会 stall 或 reverse 先前收益，提示我们在 Agent 流程中需要加入 checkpoint 或最优轨迹回滚机制，避免在长链路任务中因过度探索而丢失已学到的高价值策略。
- 用可执行规则替代人工标注来做自动化评测：将搜索/推荐策略验证转化为可编程的 sandbox，每个动作都可精确判断对错，能低成本生成大规模评测集，适合对 LLM Agent 做回归测试和版本对比。
HypoEvolve：遗传算法驱动多智能体LLM发现科学假设
🧭 多智能体遗传算法优化科学假设生成
University of California San Diego · Texas A&M University · Carnegie Mellon University · Mohamed bin Zayed University of Artificial Intelligence
用遗传算法协调多智能体LLM，通过种群迭代生成科学假设，在药物重定位评估中DepMap selectivity达0.171
📌 工作参考价值（4 点）
- 多智能体+遗传算法可迁移到广告文案、搜索query、商品描述的生成：把候选文案/query视为种群，多个agent分别负责生成、批判、修改，适应度函数使用CTR、转化率等线上/离线信号，而不仅靠LLM评分。
- 显式定义协作规则（选择、交叉、变异）可以分离模型能力与协作收益，便于A/B测试不同agent配置；在推荐系统中可固定生成模型，替换协作策略来验证多agent架构的实际价值。
- 评估设计借鉴外部证据：药物重定位用DepMap/Open Targets等外部数据，业务中可用用户行为日志、搜索点击日志、成交数据作为外部评估，避免仅用LLM judge或人工标注。
- 外部信号做适应度时注意选择偏差和泛化：论文验证了held-out癌症类型上的泛化，业务中可验证创意/query生成在未见过品类/场景上的表现，防止过拟合历史数据。
TruthInsightBench：面向开放式科学发现智能体的证据基准评估
🧭 Agent 科学发现评估基准
TruthInsight-AI
提出区分复现与发现的基准，用固定 LLM 裁判评估智能体声明的证据成熟度，揭示瓶颈在科学判断而非编码
📌 工作参考价值（4 点）
- 在评估推荐/广告 Agent 时，引入“盲任务”设计：只给中性业务目标（如“提升点击率”）和冻结历史数据，隐藏已知最优策略，考察 Agent 能否自主提出可验证的假设和实验方案，而不是复现预设的优化流程。
- 借鉴其“声明-证据成熟度”的 6 维度/29 项检查表，为推荐 Agent 输出建立证据审计清单：是否包含对照组设计、鲁棒性检查（不同时间段/人群分片）、可证伪性（明确什么结果会否定假设）、跨数据集/场景泛化验证等，量化决策质量。
- 采用固定 LLM judge + 确定性聚合实现自动化评估，降低人工标注成本，支持 Agent 自我迭代。具体实现：将 Agent 产出拆解为可核验 artifact（图表、统计结果、实验设计），让 LLM 对每个证据项打分，再用规则聚合，避免 LLM 主观偏差。
- 结论“瓶颈在科学判断而非编码”提示：在推荐系统中引入 Agent 时，应优先加强推理、实验设计和因果推断模块，而非只提升代码生成能力，可接入因果推断工具或 A/B 测试模拟器。
Eureka：面向科学发现的任务条件化元智能体编排
🧭 Meta-Agent 任务条件编排与自演化 ★ 深度解读
ManXis · Guangdong University of Technology · South China Normal University · Shanghai Jiao Tong University · Duke University
提出任务条件的 Meta-Agent 架构，动态编译义务图并形成专门代理，通过治理式演化完成长程科学发现
📌 工作参考价值（4 点）
- 动态义务图 + ready frontier 调度：在电商多 Agent 场景（如大促策划、商品打标、广告文案生成）中，避免一次性完整规划，改为维护有依赖关系的义务图，仅执行前置条件已满足的节点，减少规划浪费和上下文膨胀。
- 架构热点识别与 Macro-Agent 封装：根据子任务间状态共享、依赖密度、操作复用等遥测，将高频协作的子任务封装为拥有私有状态和工具集的专门子 Agent，减少重复状态加载和通信 token；父编排器只通过类型化接口查看已验证产物。
- 治理式自演化（governed evolution）：不盲目循环优化，而是用 cost-benefit gate 判断是否值得修改架构；对低风险局部变异（如 prompt/工具接口）给予有限租约，结构性变更升级到高层，避免长程任务中过度搜索。
- 接受证书机制：对关键节点输出附带可回放收据和验证器契约，确保在复杂流程（如推荐策略生成、数据管道）中每个环节可审计，避免置信错误。
大型发现模型：基于实证的模型驱动开放式搜索
🧭 LLM + 贝叶斯代理模型开放式搜索
University College London · The Hong Kong University of Science and Technology (GZ) · Institute of Automation, CAS · Jilin University · AI Lab, The Yangtze River Delta
耦合 LLM 生成与贝叶斯非参代理模型，用不确定性值引导候选生成与筛选，实现开放式搜索性能大幅提升
📌 工作参考价值（4 点）
- 借鉴「LLM 生成 + 非参代理模型」的架构：在电商搜索/推荐里，可让 LLM 生成候选商品描述、广告创意、Query 改写等，同时训练一个轻量 Bayesian surrogate（如 GP/随机森林）预测效果并输出不确定性，不依赖 LLM 自评/概率作为可靠打分。
- 用 uncertainty-aware value 做候选筛选：例如生成多个广告文案或推荐理由时，按 surrogate 预测的 CTR/CVR 减去不确定性惩罚选择，可平衡探索与利用，降低对冷启动或分布外候选的误判。
- 持续更新 discovery memory 与 surrogate：每个线上实验反馈（点击、转化）实时更新代理模型和记忆池，使候选生成越来越符合业务目标；类似在线贝叶斯优化，适合迭代优化推荐策略或创意素材。
- 注意资源：LLM 生成多个候选成本可控，但每次实验反馈更新 surrogate 需要在线训练或增量更新方案；可参考论文中非参模型的选择，探索轻量实现。
Mechanist：以AI为科学仪器自主发现智能机制的智能体系统
🧭 AI4Science · 机制可解释性智能体
Zhejiang University
用Agent+知识图谱+方法库自动发现AI模型机制，实现从解释到干预
📌 工作参考价值（4 点）
- 将论文、内部实验构建成「机制知识图谱」，把模型行为、失败案例、分析方法、干预手段结构化沉淀，便于快速定位推荐模型 bias、表征问题或安全风险。
- 借鉴其 32 种方法库的思路，封装一套可复用的因果干预与验证工具（如 activation patching、logit lens 等），让团队能自动生成假设并跑小规模实验，而不是逐个人工排查。
- Agent 的“假设→实验→验证”闭环可用于生成式推荐/搜索的模型诊断，例如排查 Semantic ID 模型是否学到正确的概念层级、跨模态转移是否带偏风险。
- 从机制解释到行为控制（如引导模型生成指定属性输出）的思路，可用于将机制发现转化为可控的推荐策略或生成约束。
通过迭代元反思实现自主科学发现
🧭 自主发现 · 迭代元反思
University of Edinburgh · Massachusetts Institute of Technology
提出 DiscoPER 框架，让 LLM 通过二阶元反思机制自主迭代发现科学规律，在生态基准上恢复 89% 已知模式
📌 工作参考价值（4 点）
- 二阶反思机制可迁移至搜索/推荐 Agent：在自动生成 Query 或探索推荐策略时，引入定期复盘已探索空间，识别模式、偏见与空白，主动跳转至高价值未覆盖区域，提升长尾覆盖与策略多样性。
- 统计检验作为硬约束：任何生成的新假设必须通过统计验证，这一点可直接用于广告文案 A/B 测试、推荐策略上线流程，让 Agent 决策具备统计可信度。
- 工具调用扩展多模态特征：推荐系统可仿照 DiscoPER 通过 Tool Use 无缝接入图像理解、OCR 等工具，从商品图片、评论区截图等多模态源提取结构化信息，丰富用户和物品特征。
- 自动特征工程与模型搜索：将开放式探索与元反思结合，用于自动化生成并验证特征组合、模型结构，周期性反思哪些方向尚未尝试，提高有限算力下的搜索效率。
EurekAgent：环境工程是实现自主科学发现的核心
🧭 Agent环境工程 · 自主科学发现
Tsinghua University · Zhipu AI
通过环境工程（权限、制品、预算、人机交互）引导Agent自主科学发现，以极低成本在26圆堆积等任务创下新SOTA。
📌 工作参考价值（4 点）
- 权限隔离与沙箱：在电商推荐Agent中，可借鉴权限工程，将Agent的探索行为限制在沙箱环境中，防止直接操作线上评估或污染训练数据，实现安全试错。
- 制品版本管理：利用基于Git的制品工程管理Agent生成的实验配置、模型检查点或Semantic ID映射表，实现可追溯、可回滚的迭代，提升团队协作效率。
- 成本预算控制：为Agent设定API调用预算或时间预算，避免在自动调参、query改写生成等任务中产生过高推理成本。EurekAgent用<11美元发现SOTA，证明预算能激发高效探索。
- 轻量人机交互：设计便捷的人类监督接口，让领域专家在关键决策点（如新推荐策略上线前）快速审核或修正，在Agent自动化与人工控制间取得平衡。
AutoSci：面向全科研生命周期的记忆中心多智能体系统
🧭 Agent · 多智能体协作与自进化科学发现 ★ 深度解读
Peking University
提出 AutoSci，通过结构化持久记忆、流程控制、多智能体增强与自进化，实现跨项目可复用的全周期科研自动化。
📌 工作参考价值（4 点）
- 借鉴 SciMem 的分区记忆设计：长期知识记忆（领域/论文/概念/方法/研究者等实体）与活跃研究记忆（想法/实验/稿件/评审）分离，电商 Agent 可类比用户兴趣图谱、商品知识库与当前会话状态的隔离，避免上下文污染与幻觉。
- SciDAG 的多智能体 DAG 编排模板：通过可复用的算子图（生成、辩论、精炼、评审等）自适应执行复杂任务，可用于推荐系统中的多路召回融合、策略辩论、解释生成等，条件边实现动态流程控制。
- SciEvolve 的自进化机制：将用户反馈、实验失败等信号转化为版本化更新，可迁移到 Agent 系统的持续优化中，例如定期分析对话失败模式，自动调整 prompt、工具选择或流程步骤，提升系统鲁棒性。
- 信任守护（Trust Guard）设计：对记忆写入进行形式与内容双重验证，可引入到电商知识库更新或模型生成内容的校验环节，避免错误信息传播至下游决策。
AutoScientists: 自组织多智能体团队实现长周期科学实验自动化
🧭 去中心化多智能体自组织协作 ★ 深度解读
Harvard University
提出去中心化自组织多智能体团队，通过共享状态与动态重组，在生物医学、GPT优化和蛋白质工程中超越现有科学代理
📌 工作参考价值（4 点）
- 去中心化团队协作范式可迁移至多 Agent 推荐系统优化：通过共享状态（实验日志、死胡同注册表、论坛）让 Agent 相互“看到”对方的尝试与失败，避免重复探索，适合电商中多目标排序、个性化策略的并行搜索。
- 分析师与实验者角色分离：分析师 Agent 专职审核实验方向、生成和排序提案；实验者 Agent 实施并记录结果。这种分工可以用于生成式推荐中，由“策略脑”规划增量实验，“执行手”跑 A/B 测试。
- 动态重组与死胡同注册：当某方向连续无提升时，自动触发讨论并重组团队，将探索资源转移到新方向。可用于 Agent 系统在在线学习场景中的自适应调整。
- 实验前同行批评过滤：利用 Agent 间的异步讨论筛掉弱提案，节省算力。可借鉴到搜索链路中的策略预审或流量分配前的集体评估。
SciAtlas：大规模科学知识图谱赋能自动化研究
🧭 大规模学术知识图谱与神经符号检索支持AI智能体
Zhejiang University · University College London
构建含4300万论文、1.57亿实体、30亿三元组的异构学术知识图谱，并设计神经符号检索算法降低智能体推理成本
📌 工作参考价值（4 点）
- 大规模异构知识图谱构建流水线：将多来源、多形态的学术资源统一为实体-关系三元组，可迁移至电商领域构建商品-属性-场景等知识关联，为推荐与搜索提供结构化背景
- 神经符号检索范式：三路协同召回（语义向量、关键词、图结构）结合图重排序，能同时兼顾语义相似与逻辑关联，适合需要可解释性与关联发现的商品推荐、对话Agent等场景
- 用图谱预存逻辑降低Agent幻觉与成本：将复杂推理路径固化于图结构，Agent直接查询而非实时推理，在电商智能客服、趋势分析等场景可大幅降低大模型调用频率与延迟
- 全局视角的任务抽象：文献综述、趋势合成等任务映射到电商即为用户评论摘要、购物趋势洞察、新品定位，可借鉴其认知地图思想构建领域全景分析工具